llm服务

基于 AI 网关提升大模型应用可用性的实践

随着 LLM 服务广泛部署，服务的可用性和流量治理面临新的可靠性要求。由于 LLM 服务参数量级限制，其服务部署和重启时间较长，如果服务因为过载而故障，则重启时间达到分钟级，对服务可用性影响极大。